Akıllı Telefonlar için Birleştirme Modeli Tabanlı Görüntü Altyazılama

Görüntü altyazılama, bir görüntünün metinsel açıklamasını doğal dil işleme ve bilgisayarlı görü kullanılarak oluşturma işlemidir. Bir görsel içeriğini makineye tanımlatmak, potansiyel uygulamaları nedeniyle son yıllarda artarak ilgi görmüştür. Bu çalışmada, akıllı telefonlarda uygulanabilir, kodlayıcı-kod çözücü yaklaşımına dayanan birleştirme modeli tabanlı görüntü altyazılama sistemi önerilmektedir. Önerilen modelinde kodlayıcı olarak özniteliklerini çıkarmak için VGG16 evrişimsel sinir ağları kelime özelliklerini uzun-kısa dönemli bellek yapısı kullanılmıştır. iki işlem sonrası, özniteliklerinin oluşturulan özelliklerinin kodlanmış biçimleri önerilen modelde birleştirilmiştir. girdinin kombinasyonu daha sonra dizideki sonraki kelimeyi oluşturmak çok basit kod tarafından görüntülerin dile uygun altyazıları başarıyla üretilmiştir. sistem Flickr8k/30k veri kümeleri üzerinde BLEUn metriği test edilmiş literatürdeki çalışmalarla kıyaslanarak sağladığı üstünlük gösterilmiştir. sistem, ayrıca, benzer çalışmalardan farklı internet bağlantısı olmadan altyazısı üretebilecek şekilde geliştirdiğimiz ImCap adlı Android uygulamamız de çalıştırılmıştır. uygulama ile altyazılamanın kullanıcıya ulaşması amaçlanmıştır.